package main;

import java.util.List;
import model.HouseModel;
import model.UrlModel;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.http.client.HttpClient;
import org.apache.http.impl.client.DefaultHttpClient;
import db.MYSQLControl;
import model.JdModel;
import util.FileIO;
import util.URLFecter;

public class Main {

  static final Log logger = LogFactory.getLog(Main.class);

  //  public static void main(String[] args) throws Exception {
//    //初始化一个httpclient
//    HttpClient client = new DefaultHttpClient();
//    List<UrlModel> list = MYSQLControl.sel();
//    //我们要爬取的一个地址，这里可以从数据库中抽取数据，然后利用循环，可以爬取一个URL队列
//    String url;
//    for (UrlModel urlModel : list) {
//      url = urlModel.getUrl();
//
//      //抓取的数据
//      List<HouseModel> bookdatas = URLFecter.URLParser1(client, url);
//      //循环输出抓取的数据
//      for (HouseModel jd : bookdatas) {
//        logger.info(
//            "Address:" + jd.getAddress() + "\t" + "Company:" + jd.getCompany()
//                + "\t" + "Content:" + jd.getContent());
//      }
//      //将抓取的数据插入数据库
//      MYSQLControl.executeInsert1(bookdatas);
//    }
//  }
  public static void main(String[] args) throws Exception {
    //初始化一个httpclient
    HttpClient client = new DefaultHttpClient();
    String url=" ";
    for (int i = 1; i < 20; i++) {

      //我们要爬取的一个地址，这里可以从数据库中抽取数据，然后利用循环，可以爬取一个URL队列
      url =
          "https://search.jd.com/Search?keyword=%E8%AE%BE%E8%AE%A1%E6%A8%A1%E5%BC%8F&enc=utf-8&wq=shejimoshi&page="
              + i;

    //抓取的数据
    List<JdModel> bookdatas = URLFecter.URLParser(client, url);
    //循环输出抓取的数据
    for (JdModel jd : bookdatas) {
      String file="书名："+jd.getName()+"\n"+"价格："+jd.getPrice()+"\n";
      System.out.println(
          "id:" + jd.getId() + "\t" + file);
      //    将抓取的数据存到本地
      FileIO.db2File(file);
    }
//    将抓取的数据插入数据库
//    MYSQLControl.executeInsert(bookdatas);

  }
  }
}